from transformers import AutoModelForCausalLM,AutoTokenizer,TextStreamer

#模型微调之前的效果
model_name = "/root/lanyun-tmp/models/DeepSeek-R1-Distill-Qwen-1.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name,local_files_only=True)
prompt_style = """以下是描述任务的说明，并附有提供进一步背景的输入。
请写一个恰当的回应，完成该任务。
在回答之前，请仔细思考问题，并创建一个逐步的思维链，以确保逻辑清晰且准确。
### 任务描述：
您是一位在临床推理、诊断和治疗计划方面具有高级知识的医学专家。
请回答以下医学问题。
### 问题：
{}
### 回答：
{}"""
question = "一位61岁的女性，有长期的在咳嗽或打喷嚏等活动中不自主漏尿的历史，但夜间没有漏尿。她接受了妇科检查和Q-tip试验。根据这些检查结果，膀胱容量测定（膀胱压力-容积曲线）最有可能显示她的残余尿量和膀胱逼尿肌的收缩情况是什么？"
inputs = tokenizer([prompt_style.format(question, "")], return_tensors="pt")
text_streamer = TextStreamer(tokenizer)
res = model.generate(**inputs,streamer=text_streamer,max_new_tokens=2048)


